Sau cuộc chiến tranh Thanh-Nhật, bị nhục nhã do buộc phải trả lại Bán đảo Liêu Đông cho Trung Quốc dưới sức ép của Nga ("Tam quốc can thiệp"), Nhật Bản bắt tay vào xây dựng sức mạnh quân đội để chuẩn bị cho các cuộc đối đầu sau này.

Nhật đã ban hành một chương trình xây dựng hải quân trong mười năm, dưới khẩu hiệu "Nằm gai nếm mật" (臥薪嘗胆, ngọa tân thường đảm). Theo kế hoạch này, Nhật cho gia nhập đội tàu thường trực 109 tàu chiến, tổng số 200.000 tấn và tăng số lượng nhân sự hải quân từ 15.100 lên 40.800 lính. Đội tàu chiến mới bao gồm:

• 6 chiến hạm (đều do Anh chế tạo)
• 8 tàu tuần dương bọc thép (4 chế tạo tại Anh, 2 chế tạo tại Italia, 1 chế tạo tại Đức - Yakumo, và một tại Pháp - Azuma)
• 9 tuần dương hạm (5 chế tạo tại Nhật Bản, 2 tại Anh và 2 tại Mỹ)
• 24 khu trục hạm (16 chế tạo tại Anh và 8 tại Nhật)
• 63 thủy lôi hạm (26 chế tạo tại Đức, 10 tại Anh, 17 tại Pháp, và 10 tại Nhật)

Một trong những chiếc tàu chiến này, Mikasa, chiếc tiên tiến nhất vào thời của nó[1], được đặt hàng tại nhà máy đóng tàu Vickers ở Anh quốc cuối năm 1898, và giao cho Nhật Bản năm 1902. Ngành đóng tàu thương mại ở Nhật Bản đã lộ diện thông qua việc đóng chiếc tàu hơi nước chân vịt kép Aki-Maru cho Nippon Yusen Kaisha thực hiện bởi Mitsubishi Dockyard & Engine Works, Nagasaki. Tàu tuần tiễu Hải quân Đế quốc Nhật Bản Chitose đã được đóng tại Union Iron Works ở San Francisco, California.

Sự chuẩn bị lực lượng này lên đến đỉnh điểm với cuộc Chiến tranh Nga-Nhật (1904–1905). Tại cuộc Hải chiến Tsushima, Đô đốc Togo ở trên tàu Mikasa đã chỉ huy hạm đội liên hợp của Nhật Bản tham gia trận chiến có tính quyết định này[10]. Đội tàu chiến Nga hầu như bị tiêu diệt hoàn toàn: trong số 38 tàu chiến Nga, 21 chiếc bị đánh chìm, 7 bị bắt giữ, 6 bị giải giáp, 4.545 quân Nga tử vong và 6.106 quân bị bắt làm tù binh. Thế nhưng, Nhật chỉ mất có 116 quân và bị phá hủy 3 tàu phóng ngư lôi. Các thắng lợi này của Nhật đã triệt tiêu hoàn toàn sức mạnh của Nga ở Đông Á và đã gây ra nhiều cuộc nổi loạn của quân sĩ trong Hải quân Nga tại Sevastopol, Vladivostok và Kronstadt mà đỉnh điểm là tháng 6 với cuộc nổi loạn tàu chiến Potemkin, góp phần dẫn đến cuộc Cách mạng Nga năm 1905.

Trong cuộc chiến Nga-Nhật, Nhật Bản cũng thực hiện những nỗ lực mạnh bạo để phát triển và xây dựng một đội tàu ngầm. Tàu ngầm chỉ trở thành các tàu chiến trước thời điểm đó không lâu và đã được xem là vũ khí đặc biệt có tiềm năng to lớn. Hải quân Đế quốc Nhật Bản đã mua được những chiếc tàu ngầm đầu tiên vào năm 1905 từ Electric Boat Company của Hoa Kỳ, chỉ sau 4 năm sau khi Hải quân Hoa Kỳ trang bị chiếc tàu ngầm đầu tiên cho cho mình, chiếc USS Holland. Những chiếc tàu ngầm này được sản xuất theo thiết kế của Holland. Chúng được chở dưới dạng linh kiện rời đến Nhật Bản và được lắp ráp ở Nhà máy đóng tàu Hải quân Yokosuka, trở thành thân tàu Số 1 đến 5, và bắt đầu vận hành vào cuối năm 1905.